https://www.passeidireto.com/pergunta/120415736/considere-a-cadeia-de-markov-com-matriz-de-transicao-1-2-1-3-1-6-p-3-4-0-1-4-0-1
Recomendo esse arquivo que achei no Passei Direto